「背景」当下无论是企业需求还是社会发展趋势，数据领域的知识都非常重要。具体体现在企业决策与创新需要、数字化转型的适应、前沿技术和趋势的探索。「企业需求」数据已成为现代企业的核心资产，企业通过数据驱动决策、通过数据推动业务创新(掌握数据帮助企业发现新的商业模式和市场机会)；「社会发展趋势」另外随着数字化转型的浪潮，数据作为其核心要素发挥重要作用、推送技术和业务的融合；「前沿技术基础」在如今人工智能迅速发展，数据也作为其基础，为探索前沿技术奠定基础。

「目的」因此，本部分主要围绕数据领域的知识，逐一拆解核心分支的技术属性和业务价值。让读者有清晰、完整、详细的认识，以提升数据相关的职业竞争力。

首先是数据体系概述，介绍演进过程中的核心概念和和解决的问题。其次 围绕4大核心分支，展开具体的定义和实践，其中包括常见的数据工程任务，还有数据分析、数据科学、数据合规与治理，另外包括数据工程架构/数据仓库等核心概念的下探总结。旨在帮助读者系统的了解数据领域相关技能和知识，能运用在企业和前沿技术实践中，助力个人职业发展。

一、数据体系概述

1.1 企业数据蓝图

如今数据的核心价值主要作用在商业智能和人工智能，以及各行业智能化应用。BI方面包括：决策支持、趋势分析、实时分析；AI方面包括自动化、智能应用等
数据不仅是企业做出决策的基础，还推动了AI技术的发展，改变了企业的运营方式和市场竞争方式。(对决策的支持和对智能化应用的推动作用)

1.2 核心概念决策

数据湖：是“后路”还是“沼泽”？？囤积癖的狂欢：来着不拒！先存进来再说（Schema-on-read）！
万一以后有用呢？ 这叫保留数据的原汁原味！

理想VS现实： （核心问题）没有治理的数据湖 ，就是垃圾场。 它现在的唯一作用就是做做个心里安慰备份盘———-看着东西都在，其实谁也不敢用！

Data Swamp（数据沼泽）。 问题如何解决。

数据中台： 其实是场“权利的游戏”。 为什么每个部门都在重复造轮子？！ 为什么数据大家？！
中台真面目：以后公共指标 我说了算！ 轮子统一去库里领！（OneData！OneService！）

激烈的博弈：凭什么把我的数据拿出来共享？ 这是我的私产！（数据资产） 「中台本质是组织变革」

• 很多中台烂尾，不是技术不行，是“人”搞不定。 没人愿意为公共资产负责。

湖仓一体：“成年人务实折中”。 混血儿诞生。 仓的规矩不能丢，湖的便宜和灵活也饿想要。 于是搞出了这个折中的方案。

1.3 数据架构介绍

数据领域架构，除了常见的 数据处理架构 之外，还包括数仓架构。 另外还包括 数据中台架构、数据湖架构、数据治理架构、实时数据架构、湖仓一体架构、云原生数据架构、数据安全架构等。以上架构的理解以及核心架构的深入，是数据架构师必备的技能和知识体系。

具体的架构介绍和实践在[5]数据架构中详细展开。

1.4 四大核心分支

企业级数据架构主要从更高层面解决数据流转问题。但除此之外，数据领域的核心应用及工作也围绕各个环节、各个应用分支展开，
按 “技术属性 + 业务价值” 可拆解为 4 大核心分支，覆盖从底层技术到上层应用的全链条。

除了以上 4 大核心分支， 大家常关注和工作相关的的内容还包括： 数据架构/工程/仓库 的建设，数据平台架构、存储等架构。

二、数据架构概述

2.1 企业数据蓝图

2.2 数据平台架构

2.3 专项子架构

三、四大核心分支

数据架构和数据领域的四大核心分支（数据工程、数据分析、数据科学、数据合规治理）是相互联系的，共同构成了数据管理与应用的完整体系。

数据架构为数据的各个领域提供了支持的框架，而四大核心分支分别从不同的角度管理和利用数据，协同工作形成了完整的数据管理和应用体系。在实际操作中，数据架构与各个领域紧密相连，确保数据从采集到使用的全过程中能够高效、合规、准确地流动和分析。

3.1 数据工程

「定义」
用工程化手段打通数据全链路，把 “原始数据” 变成 “可信资产”，为所有数据相关工作提供稳定、高效的底层支撑，解决业务的实际问题
数据工程涵盖了数据的整个生命周期，包括采集集成、存储架构、处理计算、治理质量、平台服务等；数据架构是更高层次的设计，以高效、可靠、高质量的交付数据

「划分」

从技术属性、业务价值角度看，可拆解为以下几个核心的分支：
（其它抽象的核心关键词：(方法论)[数据建模、数仓建模] ）

3.1.1 采集与集成

「「定义」」
「数据采集」
数据采集（Data Collection / Data Ingestion）
是整个数据体系的第一层，用于将不同来源、不同格式、不同协议的数据获取并传输到数据平台或数据湖（存储层）内。
数据采集是整个 数据中台、数仓、MLOps Pipeline 的入口

「数据集成」
采集 = 把数据拉/推出来
集成 = 把拉出来的数据洗好、分发好、落库好

各企业包括大厂的完整链路：数据源 → 采集 → 集成 → 存储 → 消费

「「体系架构」」
数据采集&集成体系：把几百上千个异构数据源的数据可靠、可控、可观测地搬到数据湖/数据仓库里

1.数据采集（Ingestion）：把数据从源头“搬出来”。提供多源的数据采集能力，实现不同渠道的数据高效采集
2.数据集成（Integration / Pipeline）：通过集成平台化，实现把采集到的“脏数据”清洗、标准化、再路由。
3.存储层：数据仓库和数据湖，核心的数据存储（提供高效读写）
4.数据治理层：纵向贯穿整个数据生命周期的“全局控制层”（绘图工具限制）

集成通道-消息队列：Streaming Bus(Kafka) 统一消息队列，实现缓冲、解耦、支持重放
采集层负责“把数据搬出来” → 交给Kafka → 集成层（Flink为主）负责“把数据洗好用好” → 落湖（Hudi/Iceberg为主）

flowchart LR
    style B1 fill:#FFE599
    style B4 fill:#FFE599
    style B2 fill:#FFE599
    style A1 fill:#FFE599
    style A2 fill:#FFE599
    style A5 fill:#FFE599
    style Governance fill:#FFE599
    style Ingestion fill:#e8f6f0
    style Pipeline fill:#e8f6f0
    style C0 fill:#e8f6f0,stroke:#D6B656;
    style E0 fill:#FFE599,stroke:#D6B656;
    style D0 fill:#ffffde,stroke:#D6B656;
    style Table fill:#FFE599
    %% =========== 数据来源 ==============
    subgraph Sources[数据来源层-Sources]
        A1[业务数据库
MySQL / PostgreSQL / Oracle]
        A2[日志系统
Nginx / App Log]
        A3[消息系统
MQ / Kafka]
        A4[第三方服务
API / Webhook]
        A5[IoT设备
传感器 / APP埋点]
    end

    %% =========== 数据采集方式 ==============
    subgraph Ingestion[数据采集层-Ingestion]
        B1[批量采集
Sqoop / DataX]
        B2[实时采集
Flume / Filebeat]
        B3[日志采集
Logstash / Fluentd]
        B4[CDC 变更数据捕获
Debezium / Canal]
        B5[API 拉取
Airflow / Python 脚本]
    end

    %% =========== 数据接入通道 ==============
    subgraph Pipeline[数据集成-接入/加工通道]
        C0[数据清洗 / 标准化]
        C1[消息队列
Kafka / Pulsar]
        C2[实时处理引擎
Flink / Spark Streaming]
        C4[Airflow + Python
dbt]
        C3[批处理引擎
Spark / Hive]
    end

    %% =========== 数据落地存储 ==============
    subgraph Storage[存储层-Lakehouse]
        D1[对象存储
S3 / OSS / COS]
        D0[数据存储]
        D2[数据湖
Hudi / Iceberg / Delta Lake]
        Table[Hudi表、Iceberg表、Delta Lake]
        D3[数据仓库
Hive / ClickHouse / Snowflake]
    end

    %% =========== 数据治理（纵向） ==============
    subgraph Governance[数据治理层-Governance]
        direction TB
        E1[元数据管理
Atlas / DataHub]
        E0[数据合规与治理-贯穿全局]
        E2[数据质量
DQ / Great Expectations]
        E3[数据血缘
Amundsen]
        E4[审计 & 安全
Ranger]
    end

    %% =========== 数据消费 ==============
    subgraph Consumption[数据消费层]
        F1[指标平台
Superset / Grafana]
        F2[数仓模型
DIM / DWD / DWS / ADS]
        F3[数据服务
API Gateway]
        F4[机器学习
Feature Store / MLflow]
    end

    %% ============== 把“数据接入通道-集成”大框改成虚线 ==============
    classDef dashedBox stroke-dasharray: 8 4, stroke:#555, stroke-width: 1px
    class Pipeline dashedBox
    class Governance dashedBox

    %% ======== 数据流动 ===========
    A1 --> B1
    A1 --> B4
    A2 --> B3
    A3 --> B2
    A4 --> B5
    A5 --> B2

    B1 --> C3
    B2 --> C1
    B3 --> C1
    B4 --> C1
    B5 --> C3

    C1 --> C2
    C2 --> D1
    C2 --> D2
    C3 --> D3
    C2 -.-> D3

    D0 --> E0
    Storage --> Governance

    Governance --> F1

「「体系详解」」

「数据来源」

「采集方式」
按照时间维度

「典型工具 / 组件」
数据库同步类： DataX、Sqoop、Canal、Maxwell、Debezium、Kafka Connect
日志 / 事件流采集：Flume[日志采集 → HDFS / Kafka]、Logstash[日志解析与转换]、Filebeat[轻量日志采集]、Fluentd[日志收集与转发]、Vector（Datadog 开源）[高性能日志采集（新趋势）]
流处理与实时加工：Flink[实时计算 + 流式 ETL]、Spark Streaming[微批处理]、Kafka Streams[轻量实时逻辑]、Pulsar Functions[事件函数]
API / 外部数据获取：Airflow[定时调用 API 抓取]、Prefect[编排 + API 抓取]、python[requests / aiohttp]
IoT 数据采集：MQTT Broker（EMQX、Mosquitto）、AWS IoT / 阿里云 IoT Hub
文件数据采集：MinIO Client (mc)、S3 API、Hadoop FS、FTP/SFTP 同步工具、Airflow 定时同步

「工程最佳实践」

1. 优先使用 CDC，同步成本最低、稳定性最高
2. 日志 → 优先 Kafka + Flink，保证实时性 + 容错
3. 多来源 → 用 Kafka Connect 形成标准化 Connector 系统
4. 所有数据最终进入数据湖（Iceberg/Hudi）再分层处理
5. ML 场景：数据采集要关联元数据（s3 路径、标签、特征版本）
6. 配合 MLOps → 接入 MLflow、Feature Store（Feast）
7. 构建统一 Data Ingestion API，避免大量 ad-hoc 脚本

3.1.2 存储与架构

「「定义」」
作为采集集成的目的地，存储是以“数据资产化”为最高目标，实现低成本、高性能读写、一体化(批流)、事务一致性与的企业级统一存储底座。

同时兼顾Schema演化、多场景查询加速。提供分层、分格式、分时效管理。
也是下游分析、报表、AI、实时服务的数据唯一来源。

「「体系架构」」
存储架构 = 采集集成的终点站 + 数据资产的托管银行 + 全公司所有分析场景的唯一数据源

flowchart LR
    %% 采集与集成
    subgraph Ingestion[数据采集与集成]
        direction TB
        In[全量数据
统一接入

Kafka 
 Flink 
 Spark]
    end


    %% 核心：大数据存储架构（重点高亮）
    subgraph Storage[大数据存储架构\n唯一目的地 & 唯一来源]
        direction TB
        Raw[Raw Zone
原始落地区]
        Bronze[Bronze 层
原始结构化副本]
        Silver[Silver 层
清洗宽表区
Hudi / Iceberg / Delta]
        Gold[Gold 层
业务指标区
高性能聚合表]
    end

    %% 消费场景
    subgraph Down[消费场景]
        BI[BI 大屏 / 报表]
        API[实时 API 服务]
        ML[机器学习 / 推荐]
        SEARCH[日志 / 站内搜索]
    end

    %% 连线
    Ingestion --> Raw
    Raw --> Bronze --> Silver --> Gold
    Gold --> BI
    Gold --> API
    Gold --> ML
    Silver --> SEARCH

    %% 高亮存储架构金库
    classDef core fill:#e3f2fd,stroke:#1976d2,stroke-width:1px
    class Storage core

    %% 可选：把采集集成也标个颜色
    classDef up fill:#fff3e0,stroke:#ef6c00
    class Up up

3.1.3 处理与计算

3.2 数据分析

todo

3.3 数据治理/合规

3.3.1 数据安全

3.3.2 数据合规

3.4 数据科学